微软掏空Inflection，对GPT-5和OpenAI先留一手 ｜ 笔记

最近微软对Infleciton的动作，把两位联合创始人和公司大部分员工招至麾下，再与Infleciton签署一项模型使用授权协议。微软为此支付的6.5亿美元，用来补偿Infleciton其他主要投资人。Inflection去年6月估值达到了40 亿美元，微软是最大的股东，领投了13亿美元。纳德拉这一招，在硅谷被称为Aquihire (英文并购与招聘的合成词——编者）的基础之上，又有创新。让人想起了在去年底OpenAI的董事会政变期间，纳德拉一度想干的事情 ：把被董事会解职的CEO奥特曼和总裁布洛克曼，以及签名请愿的约700名OpenAI员工中的很多技术骨干，以OpenAI同样的开价，招到微软，为他们成立一个独立的AI实验室。微软也会为Inflection的团队成立一个独立的业务部门：Microsoft AI，由Inflection的联合创始人和CEO苏莱曼（Mustafa Suleyman ）担任CEO。将整合Copilot, Edge和Bing，这是微软承载GPT-4应用的主要产品。这个团队加入微软，是为了推动微软建立对外统一的个人AI体验。如果你用过Inflection的对话应用Pi，其聊天功能中所体现的“情商”，是一大特点。Inflection称之为第一款个人AI产品。它的使命正是为每个人提供个人智能 。Inflection最近才推出2.5版本，它将托管在微软的Azure云上，并且开放API。与OpenAI与微软的授权协议不同的是，Infletion还可以与其也的云厂商合作。那剩下的Inflection呢？还有一名共同创始人霍夫曼( Reid Hoffman)，并且新招了一名科技老将但并没有较强AI背景的怀特 (Sean White)担任CEO。霍夫曼还是微软的董事会成员，也是Inflection的投资者。实际上，今年以来SOTA大模型已经形成了GPT-4、Gemini、Claude三足鼎立之势，其他闭源大模型已经前景暗淡，要么等待被收购，要么向特色应用领域发展。Inflection就是这样的处境。微软挟OpenAI快速加持其主要产品，但除了云服务和股价取得收益，微软的核心产品，并没有撼动谷歌。尽管谷歌也有自己的问题，但谷歌在面C端部署AI的领域，依然对微软保持着显著的优势。大模型如果不能走向个人AI，将无法实现规模化。微软在想尽一切办法创造个人AI体验，将Windows操作系统与Copilot深度集成，把GPT-4嵌入到微软的浏览器和搜索上，但在市场份额上几乎没有任何起色。微软还把Copilot装入自产的笔记本电脑Surface。所有这些产品组成的Copilot，有一种拼凑感，并没有建立起一体化的个人AI体验。生成式AI大模型主导了用户体验，也激发起用户的期待。微软需要真正成功做出过一流大模型和AI产品的领军者加入其团队，而不仅仅是获得OpenAI的独家技术授权，才有可能将其技术与产品的整合尽快推进下去。Inflection的联合创始人苏莱曼和西蒙尼扬（Karén Simonyan），系出DeepMind。苏莱曼曾经是DeepMind的联合创始人和首席产品官，而西蒙尼扬曾领导了AlphaZero的开发团队，并且担任Inflection的CTO。从长远来看，走向个人AI，以及更加广泛的应用领域，微软与OpenAI之间竞争的一面将会凸显。微软总共投资了三家大模型公司，闭源的OpenAI、Inflection和开源的Mistral。对于前两者，微软采取了实际控制的方式。正如纳德拉在OpenAI董事会政变期间所说、后来又被马斯克的诉状中所强调的那样：“我们拥有(OpenAI)所有知识产权和所有能力。如果OpenAI明天消失了,老实说,我不希望我们的任何客户为此担心,因为我们拥有继续创新的所有权利。这不仅仅是为了服务这个产品, 我们之间合作所做的事情，我们自己都可以去做。我们拥有人员,我们拥有计算能力，我们拥有数据，我们拥有一切。”微软与OpenAI之间的这种合作关系，至少有两个方面正在引发监管层和市场的关注，第一个是反垄断当局的关注，第二个是对于微软这种把投资再用于其云计算的使用，从而导致其云计算业务增长、股价上涨的操作方式的合理性的关注。所以微软这次对Inflection采联了“招聘”和“技术授权”的方式。微软也需要多留几手，万一OpneAI靠不住了呢？OpenAI非营利架构的一面，始终是个潜在的是非点。最近Claude3的推出，在许多方面已经超过了GPT-4，证明OpenAI的护城河也并不是那么深。如果大家都说OpenAI之所以领先，是因为有那么多的算力和数据，那这不正是微软提供的吗？最近亚马逊的AWS强势推Claude3，谷歌除了推出Gemini大模型足以与GPT-4抗衡之外，还推出了开源模型Gemma；又传出谷歌与苹果正在密谋把Gemini设置为苹果设备上的默认模型，就像谷歌搜索那样，这将为谷歌大模型迅速获得一个面对20亿设备和10亿用户的入口。也许让微软更加感到不安的是，苹果也在与OpenAI接触。夏季的GPT-5最近传出GPT-5可能在夏季推出，将是GPT-4的10倍，20万亿参数，似乎与呼应了老黄祭出的算力“核弹”B200，号称构建的集群能训练出参数27万亿的模型。扩展法则依然有效，但其性价比可能已经不是最好。在老黄与Transformer 八子在GTC活动上的对话中，他们承认依然牢记“苦涩的教训”，但都提到了Transformer架构的不合理性，例如用大算力去做非常简单的推理，以及迫切需要用更少的数据进行更准确的推理。我们在去年底的预测中认为GPT-5单纯的“扩展法则”的边际效益会下降。如果说会有明显的提升的话，一定还需要GPU和大模型的配套技术的发展。例如对GPU更好的利用，需要解决存储墙的问题，集群需要更快连接。准确性的提升，可能更重要的是依靠其他手段，而不仅仅是更多的参数，甚至也不一定是更多的数据。例如智能体（Agent）的作用，以及把模型小型化并向边缘扩展，用本地的数据进行训练、微调和检索，帮助形成更加准确的推理，这就需要更好的相应的工具，以及RAG （增强检索生成）等技术。在数据发生的地方进行推理是最有效的，这就需要层层的工具把大模型下沉到应用场景中去，边缘和终端那里去。今年大模型更大规模的应用，已经比更大规模的大模型更重要。而应用不能再仅仅指望大模型的智能“涌现”了，只有更多基础设施和工具组件的配套，才能把现有大模型的推理和规划能力发挥出来，把外部的应用和知识调动起来。吴恩达认为：今年AI代理工作流将推动巨大的AI进步——可能甚至超过下一代基础模型的进步。这是一个重要趋势，我敦促所有在AI领域工作的人关注它。如今，我们大多数情况下都是在零样本模式下使用大型语言模型（LLM），让模型一次性地逐个生成最终输出，而不对其工作进行修订。这就像要求某人一气呵成地撰写一篇文章，从头到尾打字，不允许回退，却期望获得高质量的结果。尽管这很难，大型语言模型在这项任务上表现得惊人地好！然而，有了代理工作流，我们可以要求LLM多次迭代处理一个文档。例如，它可能会采取如下一系列步骤：

• 规划大纲。
• 决定是否需要进行网络搜索来收集更多信息。
• 编写初稿。
• 仔细阅读初稿，找出不合理的论点或多余的信息。
• 根据发现的弱点修改草稿。
• 等等。

这种迭代过程对于大多数人类写作者来说是编写好文本的关键。对AI而言，这样的迭代工作流产生的结果比一次性写作要好得多。Devin的亮眼演示最近在社交媒体上引起了很多关注。我的团队一直在密切关注编写代码的AI的演变。我们分析了多个研究团队的结果，重点关注算法在广泛使用的HumanEval编码基准测试中的表现。你可以在下面的图表中看到我们的发现。GPT-3.5（零样本）的正确率是48.1%。GPT-4（零样本）表现更好，达到67.0%。然而，从GPT-3.5到GPT-4的改进与引入迭代代理工作流的改进相比相形见绌。实际上，嵌入在一个代理循环中，GPT-3.5的正确率可达到95.1%。